3.8 A Note About Model Selection and Large Datasets
深層学習の文献では、モデル評価の方法として3分割ホールドアウト法がよく見られる
(感想:データセットが大きいから深層学習を使っているというのもありそう)
k交差検証と比べて計算コストが小さい
(感想:k個の深層学習モデルを訓練することを考えると納得)
データセットが大きいとき、汎化性能のvarianceが大きいことをそんなに心配しなくてもよい
訓練/検証/テストの分割によって見積もりは敏感にならない
it is fine to use the holdout method with a training, validation, and test split over the k-fold cross-validation for model selection if the dataset is relatively large.
「データセットが比較的大きいならば、モデル選択にk交差検証よりも訓練/検証/テストに分割するホールドアウト法(3分割ホールドアウト法)を使うことは良い」